Ông là người Thái Nguyên, Tịnh Châu (nay là Thái Nguyên, tỉnh Sơn Tây), sinh ra trong một gia đình quan chức. Cao tổ của ông là Địch Trạm đã theo Vũ Văn Thái chạy về Hàm Dương. Ông nội là Địch Hiếu Tự từng giữ chức thượng thư tả thừa (thư ký trong thượng thư tỉnh), cha đẻ là Địch Tri Tốn từng làm trưởng sử Quỳ Châu (nay là miền đông Trùng Khánh).